聚焦︱基于视频场景多因素的人群运动状态分析

导读

人群运动状态同群体性社会事件的发生及演变密切相关，视频GIS可从空间视角掌握区域人群运动状态的时空格局，能够为异常事件监控和人群应急疏散等提供决策依据。本文通过引入透视校正，背景干扰和人群密度等综合因素，实现场景人群对象光流场和社会力场的准确估计，为视频场景人群运动状态分析提供有效的决策依据。

大多数群体性事件中，人群运动状态信息决定着事件的发生与发展，现有研究主要侧重于人群密度和人群运动的监测及分析，在人群异常事件检测、人群典型行为识别、人群行为异常检测等方面应用广泛。近年来，视频GIS的发展使得视频处理技术和GIS分析技术不断融合，可通过地图展示、量化分析和异常预警等实现人群运动状态的真实感知。同时，视频GIS解除了场景人群监控的限制，可从空间视角掌握区域人群运动状态的时空格局，能够为异常事件监控和人群应急疏散等提供决策依据。

在智能视频监控系统中，通常采用光流场和社会力场估计场景人群运动场。光流算法一般可分为稠密光流算法和稀疏光流算法两类，前者计算视频帧的所有像素点的光流值，如Gunnar Farneback光流算法，Horn-Schunck全局平滑光流算法；后者仅计算视频帧的部分像素点（比如FAST、SIFT特征角点）的光流值，如Lucas-Kanade局部平滑光流算法，PryLK金字塔光流算法。根据光流的数学计算方法及理论，光流算法也可以分为基于梯度、基于区域、基于能量、基于相位和基于神经动力学5类。社会力模型（Social Force Model，SFM）在光流场的基础上，进一步计算人群目标受到的自驱动力和外界作用力的合力，其中，目标粒子的运动速度与时空光流场密切相关，能够表征群体和个人在运动状态下的相互作用强度。

现有研究很少顾及成像变形、场景背景及对象等综合影响因素，难以实现人群运动状态的准确估计，本文以此为出发点，在光流场和社会力场的估算过程中引入几何透视校正参数、前景检测图像和人群密度分布图等来依次减弱场景透视畸变、场景背景噪声和人群密度差异的消极影响，实现场景人群对象光流场和社会力场的准确估计，为视频场景人群运动状态分析提供有效的决策依据。

一、稠密光流场校正

稠密光流场需要计算视频帧全局或局部区域内所有像素上的光流矢量，虽然计算速度相对于稀疏光流场较慢，但其包含的光流信息准确丰富，能充分表达场景内人群运动状态特征。本文提出基于长度透视校正参数和前景检测图像的稠密光流场校正方法，在Gunnar Farneback稠密光流场基础上获得幅值规范、噪声减少的校正光流场，显著表达人群运动状态，该方法可分为稠密光流场的计算和校正两个步骤。

1.1 Gunnar Farneback稠密光流场

光流计算是基于像素瞬时运动过程灰度不变的假设，即沿着图像投影运动轨迹的灰度亮度恒定，即有：

式（1）中，I 代表图像灰度亮度，且其等价于I (x,y,t)=I (x+Δx,y+Δy,t+Δt）。定义光流矢量在x 和y 方向上的分量分别为μ=dx /dt 和ν=dy /dt，则根据泰勒展开公式，有：

式（2）中，ε代表展开式中高于二阶的高阶项，将其忽略且取Δt→0，则有：

式（3）等价，其中，Ix、Iy 和It 分别代表像素灰度值在x 、y 和t 维度方向上的偏导数，该式即基础光流计算等式，若直接计算光流分量，即，则存在孔径问题，需额外添加约束条件。

Gunnar Farneback稠密光流算法将式（3）中的图像灰度亮度I 更换为图像亮度梯度ΔI，即假定图像亮度梯度恒定。进一步假设在一个微小空间邻域Ω内光流矢量恒定，采用最小二乘法估计光流，即有：

式（4）等价于，其、和分别代表像素灰度值梯度在x 、y 和t 维度方向上的偏导数。

定义Ω上的能量函数E (*)为：

式（5）中，进一步求,即

构造方程组求解，即：

式（6）中，由最小二乘原理可计算其解，对于时刻t 上的n 个,i =1,2,L,n，可计算U中各项（黑塞矩阵）。光流矢可通过牛顿迭代法或梯度下降法快速求得近似解，矩的两个特征值λ1和λ2(λ1≥λ2)形容在某点ζ 附近特征向量的凹凸性，其值越大，凹凸性越强。

本文计算该稠密光流场的过程包括以下关键步骤：

1）引入图像金字塔技术辅助解决光流计算过程中的孔径问题；

2）选择高斯滤波进行降噪处理，使得光流场平滑连续；

3）采用二次多项式对像素灰度分布近似建模，其邻域像素可估算模型参数；

4）根据前后帧所有像素的模型参数向量，即多项式系数向量，估算视频稠密光流场。

1.2 稠密光流场校正处理

稠密光流场涵盖了所有像素点的光流信息，其中包括了很多非场景对象扰动光流噪声，另外视频成像过程中场景位置远近也将引起场景对象光流信息的损耗失真。现有研究中通常设定视频场景感兴趣区域（Region of Internet，ROI），如手动圈定多边形，采用前景检测图像等均可排除环境背景的噪声干扰。而传统的透视校正方法，如相机参数校正，几何插值校正等对视频元数据或场景景观要求高，计算复杂，故透视畸变在光流场中极少被考虑。

Li等提出了一种基于统计相关分析的透视校正方法，针对前景检测图像的面积和轮廓等几何参量，同其中心位置坐标参数进行联合相关分析，建立简单的线性回归模型，以解算场景各位置的面积或长度等几何参量所对应的校正参数。

采用GMM等背景模型获取视频前景图像，并确定前景中心、面积及轮廓等几何量，假设S和S' 分别代表校正前后的几何量，则满足式（7）的关系：

式（7）中，ω 表示几何量S 对应的校正参数，它同场景图像坐标位置参数（包括坐标值x、y，方向角α 和距离d ）具有函数关系，可在场景图像中建立参考坐标系以确定位置参数。

选择某位置上个体前景的几何量作为标准（一般选择其数值较大的个体前景），对场景各位置个体前景的相同几何量进行观测计算（群体前景的几何量除以其目标总数转化为个体情况）。观测值与标准值的商即作为场景各位置ω 的估计，将其与前景位置参数进行相关分析以确定函数关系f ，即可解算场景各位置ω 。该方法计算简单，适应性好，精度较高。

参照已有研究，本文提出了稠密光流场校正方法，以上述统计分析方法求得长度透视校正参，规范视频场景光流场幅值分布；以GMM背景建模提取视频前景图像，排除背景光流噪声干扰，其校正框架如图1所示。

图1 光流场校正框架

经校正后的光流场其光流矢量幅值变得统一，且混杂的干扰噪声减少，具有更显著的人群运动状态表达效果，可用于人群运动状态分析、人群行为识别等应用，也可进一步构建SFM，分析人群对象的相互作用强度。

二、社会力模型改进

SFM是已被广泛接纳及使用的行人动力学模型，目标粒子具有前往目标地的自驱动力，且受到其余目标粒子和环境障碍物的排斥力，其速度需要根据实际受力情况不断调整，以确保自己不断靠近目的地。本文在校正光流场的基础上，进一步引入面积校正参数和场景人群密度，对传统社会力模型估算过程完成改进，以获取准确的社会力场结果。

2.1 社会力模型基础理论

Helbing等在流体动力学方程的基础上首次构建了行人社会力模型，它综合考虑场景对象和环境干扰等因素，能够表征人群真实运动情况。SFM从微观角度更多地关注目标运动过程，包括视野范围、速度、方向、障碍物及拥挤情况等，能够较合理地模拟人群运动过程。

SFM中目标粒子的真实受力如下：

式（8）中，Fa 代表目标粒子所受合力，可通过式（9）计算；Fp 代表目标粒子的自驱动力，可通过式（10）计算；Fint 代表目标粒子受到其余目标粒子和环境障碍的合力，即社会交互力，可通过式（12）计算。

式（9）中，mi 代表目标粒子i 的质量；vi 代表其真实运动速度；t 即时间。

式（10）中，τ 代表松弛系数代表目标粒子i 的期望运动速度，引入恐慌系数pi 表征目标运动状态，可更新替至，如下式所示：

式（11）中，pi ∈[0,1]，当目标粒子运动状态稳定时pi →0，严峻时pi →1代表目标粒子邻域范围内的平均运动速度，即邻域运动速度即更新后的期望运动速度。

联合以上各式，可得：

式（12）即SFM的基本公式，其中速度参量vi，和(后两者用于计)均可用视频光流时空信息进行估计；其余参数mi，τ 和pi 则与场景内的对象特征和环境属性相关，应根据实际情况完成选择估计方案。

2.2 社会力模型改进方案

将SFM引入视频场景人群分析，其关键在于通过视频分析提取视频人群运动过程的相关高级特征，并结合视频属性信息实现模型未知参数（mi ,Δt ,vi ,,,pi 和τ）的估计。

本文提出的模型改进方案包括以下关键步骤：

1）采用本文方法校正稠密光流场，实现场景速度参数（vi，和）的估计；

2）采用前文统计分析方法计算面积校正参数ωA，实现像素质量参数mi 的估计；

3）采用监督学习方法进行前景图像块人群密度分类，实现恐慌系数pi 的估计。

其中，人群密度分类技术流程如图2所示。

图2 人群密度分类框架

图2中框架主要包括前景检测、特征提取和特征分类3步：

1）采用GMM背景模型获取视频前景检测图像，根据前景轮廓的横纵向最小外接矩阵确定各视频帧包含的前景图像块；

2）在前景图像块中提取边缘纹理特征，包括Sobel边缘梯度、局部二值模式和灰度共生矩阵3种视频特征计算，构建了20维的特征向量，实现对前景图像块人群密度差异的特征表达；

3）采用SVM监督学习方法对该融合特征进行学习，实现前景图像块人群密度分类，对该区域恐慌系数pi 进行估计。

基于以上工作基础和研究思路，本文给出SFM改进方案技术框架，如图3所示。

图3中，红绿蓝虚框分别代表光流场序列帧、速度参数估计帧和社会力场帧，该图清晰地表达了SFM改进方案中模型参数的估计或引入，基于此图的技术流程，以下详细介绍改进方案具体步骤：

图3 SFM改进方案技术框架

1）利用Gunnar Farneback光流算法计算视频帧光流场，并利用长度透视校正参数ωL 和GMM前景检测图像校正光流场，使其人群运动状态表达力更显著；

2）将视频光流场序列按照T 帧等间隔划分思想分成多个序列片段，一般取T =3,5,7等奇数值（T 值确定依赖于人群运动快慢，运动越快单位时间位移越大，即T 值应越小），也可指定光流场序列片段的中间帧，并前后各延伸(T -1)/2 帧进行划分；

3）取每个序列片段所有帧的像素点或特征点的光流矢量作为该点的真实运动速度vi=o(x,y,t )；

4）对每个序列片段中间帧进行空域高斯平滑，该过程以T×T 的空域窗口模板，将相同像素位置点的光流矢量作为该点的领域运动速；

5）对每个序列片段进行时空高斯平滑，即采用T×T×T 的滤波模板，前两维代表空域，后一维代表时域，将相同像素位置点的光流矢量作为该点的预期运动速；

6）将人群密度分类结果（主要分为低、中、高3个级别）作为衡量恐慌系数pi 的标准，分别在低、中、高密度人群场景区域分别设置pi =0,0.5,1（一般情况下，个人独立行为其值趋于0，群体逃散行为其值趋于1），并结合式（11）实现预期运动速更新；

7）计算视频场景各位置对应的面积校正参数ωA 作为像素点或特征点的质量，即mi=ωA (i)，时间微分参数Δt 和松弛系数τ 均与视频帧率ra 有关，分别取Δt =T·ra，τ=ra，Δvi 可用下式估计：

8）结合式（12）可完成社会力场的计算，如下式：

三、实验及分析

本文实验包括光流场校正实验，社会力场估算实验和人群行为分析实验3个部分，实验数据采用PETS2009公开视频数据集。

3.1 光流场校正及分析

光流场是具有幅值和方向的矢量场，现有研究一般都通过直方图统计方法提取区域运动特征信息，在人群行为异常应用中应用广泛。

通过对校正前后光流场进行直方图统计对比分析以说明校正方法的有效性，图4表示该时刻视频帧场景全局区域非零幅值光流的统计结果。

如图4所示，从方向角统计可知0°左右区域的统计值被削弱，且从幅值统计可知极小的幅值被排除，其余的则得到拉伸，且总的有效统计数目锐减。大多数背景光照及对象阴影等噪声光流被排除，其光流信息集中，表达效果增强。

图4 校正前后全局比较

图5表示该时刻视频帧场景局部区域非零幅值光流的统计结果。分别给出了人数为1和7的图像块局部区域对比结果，可看出方向角统计趋势几乎都未改变；而幅值统计趋势变化较大，因为位置不同得到差异性增强。并且其总的有效统计量锐减，使整体确保了人群运动状态表达的同时大大减少了数据量，其效果更加显著。

图5 校正前后局部比较

3.2 社会力场估算及分析

按照本文方法对视频光流场进行校正，作为SFM的基础数据，并根据视频属性或通过视频分析获取其余模型参数，最终得到视频社会力场。由于社会力的计算是在通过光流场时空信息进一步计算得到，是对视频光流场的进一步扩展，图6联合了某一时刻对应的光流场及社会力场以验证这一点。

a 光流场统计分析

b 社会力场统计分析

图6 矢量场联合分析

如图6所示，其方向角统计差别不大，由于SFM包含了光流差分运算，使得社会力场在光流场正负主方向上出现一些时空处理信息；但其幅值统计差别较大，光流场近似于正态分布，而社会力场则近似于指数衰减分布，故经常利用社会力幅值辅助光流场信息以增强对人群运动状态的表达。

3.3 视频场景人群行为分析

通过光流场和社会力场可对人群真实运动场进行表达，其中，光流场可表达人群运动速度差异（方向及幅值），而社会力场可表达人群相互作用强度（幅值）。图7表示基于本文方法获得的相应光流场和社会力场对视频场景几种典型人群行为（如行走、奔跑、聚集、离散和逆行等）进行分析。

关键视频帧

光流场统计（方向、幅值）

社会力场统计（幅值）

a 单向行走与奔跑

关键视频帧

光流场统计（方向、幅值）

社会力场统计（幅值）

b 中心集聚与多向分散

关键视频帧

光流场统计（方向、幅值）

社会力场统计（幅值）

c 逆行相遇与混合

图7 视频场景典型人群行为分析

如图7所示，光流场方向及幅值通过极化坐标完成方向幅值统计，其极化方向及对应视频帧人群运动方向，其统计条颜色对应人群运动快慢；社会力场幅值通过直方图完成幅值统计。对其中各典型人群运动状态进行分析，包括：

1）单向行走。其光流方向集中，光流幅值偏低，社会力幅值在高密度人群区域相对较高；

2）单向奔跑。相对与行走而言，其光流方向同样集中，光流幅值显著提高，社会力幅值在人群离散区域较强；

3）中心聚集。其光流方向各向分散，光流幅值此处偏低，社会力幅值偏低，且外围区域高于中心区域（此处人群聚集快慢等同于行走）；

4）多向离散。其光流方向各向分散，光流幅值此处偏中高，社会力幅值偏中高，且外围区域也高于中心区域（此处人群离散快慢等同于奔跑）；

5）逆行相遇和逆行混合。将两者联合来看，两者光流方向基本保持一致，但光流幅值后者比前者明显降低，社会力幅值也存在较明显变化，相遇队列尾部降低。

综上可知，通过联合光流场和社会力场能够更加显著地对人群运动状态进行表达，为验证这一点，将该矢量场进行直方图统计量化构建特征向量（其中方向按照步长45分为8个分量；幅值按照步长0.1分为10个分量），将行走行为标定为正常行为，其余行为则标定为异常行为，制定相同的训练集和测试集，采用SVM分类器实现视频场景异常行为检测对比实验，分类性能见表1。

表1 人群行为异常检测对比实验

本文完成了4组对比实验，从分类性能可知，根据本文提出方法，校正后的光流场和改进后的社会力场相对于原始的光流场和社会力场而言，增强了人群运动状态的显著表达，使得视频场景人群行为异常检测精度进一步提高。

四、结语

针对视频场景人群运动状态分析问题，本文提出视频光流场校正方法和视频社会力场改进方案。实验结果表明，校正后的光流场和改进后的社会力场相比于原始矢量场的运动状态表现性能更显著，其协同表达效果进一步提高，在人群行为运动分析及人群行为异常检测上效果显著。本文主要考虑了透视校正，背景干扰和人群密度等综合因素，后续研究将考虑更多环境背景因素和更复杂人群运动情况等，为真实监控场景下的人群状态监测及分析提供方法支撑。

责任编辑：林冬娜、邓小云

文章来源：地理信息世界GeomaticsWorld